Generalized BackPropagation, Étude De Cas: Orthogonality
نویسندگان
چکیده
This paper introduces an extension of the backpropagation algorithm that enables us to have layers with constrained weights in a deep network. In particular, we make use of the Riemannian geometry and optimization techniques on matrix manifolds to step outside of normal practice in training deep networks, equipping the network with structures such as orthogonality or positive definiteness. Based on our development, we make another contribution by introducing the Stiefel layer, a layer with orthogonal weights. Among various applications, Stiefel layers can be used to design orthogonal filter banks, perform dimensionality reduction and feature extraction. We demonstrate the benefits of having orthogonality in deep networks through a broad set of experiments, ranging from unsupervised feature learning to fine-grained image classification.
منابع مشابه
Résultats actuels d'une étude sérologique de quelques virus de type O apparus au Moyen-orient et en Europe
متن کامل
Adenomyose utérine, étude clinique et thérapeutique: à propos de 87 cas
Le but de notre étude est l'analyse des différents aspects épidémiologiques, cliniques, paracliniques et thérapeutiques de l'adénomyose. Il s'agit d'une étude rétrospective sur 87 patientes ayant bénéficié d'une hystérectomie pour des raisons diverses (hors prolapsus) entre le 1 janvier 2000 et 31 décembre 2006 et dont l'étude histologique de la pièce opératoire a révélé la présence d'adénomyos...
متن کاملÉpizootie ovine de septicémie a Streptococcus zooepidemicus en Iran. Étude bactéhiologique. Traitement
متن کامل
Métastases cutanées vues au laboratoire d'anatomie pathologique à Lomé, Togo entre 2005 et 2014
Introduction: L'objectif de cette étude était de documenter le profil épidémiologique et histologique des métastases cutanées vues au laboratoire d'anatomie pathologique (LAP) de Lomé. Méthodes: Il s'agissait d'une étude descriptive et transversale portant sur des cas de métastases cutanées observées au LAP du CHU Sylvanus Olympio entre 2005 et 2014. Résultats: Au cours de cette période d'étude...
متن کاملLes facteurs maternels associés au faible poids de naissance: étude cas-témoins dans un hôpital public marocain
Les facteurs maternels associés au faible poids de naissance: étude cas-témoins dans un hôpital public marocain Samira Hassoune, Said Bassel, Samira Nani, Hicham Elbouri, Karima Zine, Abderrahmane Maaroufi Laboratoire d’Epidémiologie, Faculté de Médecine et de Pharmacie, Université Hassan II, Casablanca, Maroc Corresponding author: Samira Hassoune, Laboratoire d’Epidémiologie, Faculté de Médeci...
متن کاملذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
عنوان ژورنال:
- CoRR
دوره abs/1611.05927 شماره
صفحات -
تاریخ انتشار 2016